Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.
translated by 谷歌翻译
合并个人喜好对于高级机器翻译任务至关重要。尽管机器翻译最近进步,但正确反映个人风格仍然是一项艰巨的任务。在本文中,我们引入了一个个性化的自动后编辑框架来应对这一挑战,该挑战有效地产生了考虑不同个人行为的句子。为了构建此框架,我们首先收集后编辑数据,该数据表示来自Live Machine Translation系统的用户偏好。具体而言,现实世界的用户输入源句子进行翻译,并根据用户的首选样式编辑机器翻译的输出。然后,我们提出了一个模型,该模型结合了APE框架上的歧视器模块和特定于用户的参数。实验结果表明,该方法的表现优于四个不同指标(即BLEU,TER,YISI-1和人类评估)的其他基线模型。
translated by 谷歌翻译
基于医学图像(例如X射线图像)的诊断通常涉及解剖关键的手动注释。但是,这个过程涉及大量的人类努力,因此可以成为诊断过程中的瓶颈。为了充分自动化此过程,基于深度学习的方法已被广泛提出,并在检测医学图像中的关键点方面达到了高性能。但是,这些方法仍然存在临床局限性:无法保证所有情况的准确性,并且医生必须对所有模型的所有预测进行仔细检查。作为回应,我们提出了一个新颖的深神经网络,鉴于X射线图像,它可以通过用户相互作用的系统自动检测和完善解剖学关键点,在该系统中,医生可以以比手动修订过程中所需的点击率更少的点击量来修复错误预测的关键。使用我们自己的收集数据和公开可用的AASCE数据集,我们证明了该方法通过广泛的定量和定性结果来降低注释成本的有效性。我们的项目网页上提供了有关我们方法的演示视频。
translated by 谷歌翻译
图像分类模型通常会学会根据输入功能与培训数据中输出类之间的无关共发生进行预测类。我们称不需要的相关性为“数据偏见”,视觉特征导致数据偏见为“偏见因素”。在没有人类干预的情况下自动识别和减轻偏见是一个挑战。因此,我们进行了一项设计研究,以找到人类的循环解决方案。首先,我们确定了用三个专家捕获图像分类模型的偏差缓解过程的用户任务。然后,为了支持任务,我们开发了一个名为DASH的视觉分析系统,该系统允许用户在视觉上识别偏见因素,使用最先进的图像到图像到图像转换模型迭代生成合成图像,并监督改善分类精度的模型培训过程。我们对十名参与者的定量评估和定性研究证明了破折号的实用性,并为将来的工作提供了教训。
translated by 谷歌翻译
预测交通状况非常具有挑战性,因为每条道路在空间和时间上都高度依赖。最近,为了捕获这种空间和时间依赖性,已经引入了专门设计的架构,例如图形卷积网络和时间卷积网络。尽管流量预测取得了显着进展,但我们发现基于深度学习的流量预测模型仍然在某些模式中失败,主要是在事件情况下(例如,快速速度下降)。尽管通常认为这些故障是由于不可预测的噪声造成的,但我们发现可以通过考虑以前的失败来纠正这些故障。具体而言,我们观察到这些失败中的自相关错误,这表明仍然存在一些可预测的信息。在这项研究中,为了捕获错误的相关性,我们引入了Rescal,Rescal是流量预测的剩余估计模块,作为广泛适用的附加模块,用于现有的流量预测模型。我们的恢复通过使用以前的错误和图形信号来估算未来错误,从而实时校准现有模型的预测。对METR-LA和PEMS-BAY进行的广泛实验表明,我们的恢复可以正确捕获错误的相关性,并在事件情况下纠正各种流量预测模型的故障。
translated by 谷歌翻译
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得此类嵌入,最近的研究探讨了利用验证语言模型(PLM)作为训练语料库的合成生成数据的想法。但是,PLM通常会产生与人类写的句子大不相同的句子。我们假设将所有这些合成示例同样地用于训练深层神经网络可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点,我们首先训练一个分类器来识别机器编写的句子,并观察到机器编写的句子的语言特征与人写的句子的语言特征大不相同。基于此,我们提出了一种新颖的方法,该方法首先训练分类器来衡量每个句子的重要性。然后,分类器的蒸馏信息用于训练可靠的句子嵌入模型。通过对四个现实世界数据集的广泛评估,我们证明了我们的合成数据训练的模型可以很好地概括并表现优于现有基线。我们的实现可在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
translated by 谷歌翻译
由于发型的复杂性和美味,编辑发型是独一无二的,而且具有挑战性。尽管最近的方法显着改善了头发的细节,但是当源图像的姿势与目标头发图像的姿势大不相同时,这些模型通常会产生不良的输出,从而限制了其真实世界的应用。发型是一种姿势不变的发型转移模型,可以减轻这种限制,但在保留精致的头发质地方面仍然表现出不令人满意的质量。为了解决这些局限性,我们提出了配备潜在优化和新呈现的局部匹配损失的高性能姿势不变的发型转移模型。在stylegan2潜在空间中,我们首先探索目标头发的姿势对准的潜在代码,并根据本地风格匹配保留了详细纹理。然后,我们的模型对源的遮挡构成了对齐的目标头发的遮挡,并将两个图像混合在一起以产生最终输出。实验结果表明,我们的模型在在较大的姿势差异和保留局部发型纹理下转移发型方面具有优势。
translated by 谷歌翻译
通过深度学习(DL)优于不同任务的常规方法,已经努力利用DL在各个领域中使用。交通域中的研究人员和开发人员还为预测任务(例如交通速度估算和到达时间)设计和改进了DL模型。但是,由于DL模型的黑盒属性和流量数据的复杂性(即时空依赖性),在分析DL模型方面存在许多挑战。我们与域专家合作,我们设计了一个视觉分析系统Attnanalyzer,该系统使用户能够探索DL模型如何通过允许有效的时空依赖性分析来进行预测。该系统结合了动态时间扭曲(DTW)和Granger因果关系测试,用于计算时空依赖性分析,同时提供映射,表格,线图和像素视图,以帮助用户执行依赖性和模型行为分析。为了进行评估,我们提出了三个案例研究,表明Attnanalyzer如何有效地探索模型行为并改善两个不同的道路网络中的模型性能。我们还提供域专家反馈。
translated by 谷歌翻译
在开放式识别(OSR)中,分类器应能够拒绝不知名的样本,同时保持高闭合分类的精度。为了有效解决OSR问题,先前的研究试图通过离线分析(例如,基于距离的特征分析或复杂的网络体系结构)限制有限空间外部的潜在特征空间并拒绝位于有限空间之外的数据。为了通过标准分类器体系结构中的简单推理过程(无脱机分析)进行OSR,我们使用基于距离的分类器代替常规的软具有距离分类器。之后,我们设计了一种背景级正则化策略,该策略在训练阶段使用背景级数据作为不知名级的替代物。具体而言,我们制定了适合基于距离的分类器的新型正则化损失,该损失可为已知类别和强制背景类样品远离有限的空间提供足够大的类别的潜在特征空间。通过我们的广泛实验,我们表明所提出的方法可提供强大的OSR结果,同时保持高闭合分类的精度。
translated by 谷歌翻译
基于图像的虚拟试验旨在综合一个穿给定服装的人的图像。为了解决任务,现有的方法会经过衣物项目,以适合该人的身体并生成穿着该物品的人的分割图,然后再将物品与人融合。但是,当扭曲和分割生成阶段在没有信息交换的情况下单独运行时,扭曲的衣服和分割图之间的未对准发生了,从而导致最终图像中的工件。信息断开还会导致在身体部位遮住的衣服区域附近过度翘曲,所谓的像素 - 刺式伪像。为了解决这些问题,我们提出了一个新颖的尝试条件发生器,作为两个阶段的统一模块(即扭曲和分割生成阶段)。条件生成器中新提出的特征融合块实现了信息交换,并且条件生成器不会造成任何未对准或像素 - 平方形工件。我们还介绍了歧视者的拒绝,从而滤除了不正确的细分图预测并确保虚拟试验框架的性能。高分辨率数据集上的实验表明,我们的模型成功处理了未对准和遮挡,并显着优于基线。代码可从https://github.com/sangyun884/hr-viton获得。
translated by 谷歌翻译